A medida que las empresas utilizan cada vez más modelos de lenguaje grandes (LLM), mejorar la precisión del conocimiento del modelo y reducir las alucinaciones se ha convertido en un desafío importante. Los investigadores de Meta AI presentan en un nuevo artículo una "capa de memoria escalable" que podría ofrecer una solución a este problema. La idea central de la capa de memoria escalable es agregar más parámetros a los LLM para mejorar su capacidad de aprendizaje sin aumentar los recursos computacionales durante la inferencia. Esta arquitectura es adecuada para almacenar una gran cantidad de conocimientos fácticos mientras se mantiene la eficiencia computacional.

Meta ha publicado recientemente un avance innovador: han desarrollado una nueva tecnología de capa de memoria que mejora significativamente la precisión de los hechos de los modelos de lenguaje grandes (LLM), y que ha logrado una expansión sin precedentes en la escala de parámetros. Esta tecnología no solo desafía las formas tradicionales de expansión de las redes neuronales, sino que también ofrece nuevas vías para el diseño de arquitecturas de IA futuras. El núcleo de esta investigación radica en el uso de un mecanismo de búsqueda de clave-valor entrenable para agregar parámetros adicionales al modelo sin aumentar la cantidad de cálculos (FLOPs). Este método se basa en...